Hoàng Xuân Vinh sinh tại thị xã Sơn Tây, quê bà ngoại. Bố của Vinh là bộ đội Quảng Trị tập kết, mẹ anh là công nhân. Mẹ mất sớm khi mới ba tuổi, Vinh theo cha và em mới hơn một tuổi về Hà Nội sống trong một căn nhà nhỏ trên phố Thụy Khuê. Cảnh nhà nghèo, khó khăn, bố Vinh đã không lo được nhiều cho hai anh em.

Về Hà Nội, Vinh được người mẹ kế chăm sóc nhưng cũng chẳng được bao lâu. Lớn lên trong hoàn cảnh khó khăn, hai lần mất mẹ nên khi học hết cấp ba anh vẫn là cậu bé "cao chưa nổi mét sáu".

Học hết cấp ba, Vinh tình nguyện nhập ngũ. Anh vào Trường Sĩ quan Công binh ở Sông Bé, trong đó có một năm rưỡi học tập và huấn luyện tại Trường Sĩ quan Lục quân 2.[13]